KSC 2017
Current Result Document :
| 한글제목(Korean Title) |
반복 알고리즘의 분산처리를 위한 고정 데이터 캐시방법의 실험적 비교분석 |
| 영문제목(English Title) |
An Experimental Analysis of Static Data Cache Methods for Distributed Processing of Iterative Algorithms |
| 저자(Author) |
강민서
김민석
최민수
김선동
Minseo Kang
Minseok Kim
Minsoo Choy
Sundong Kim
|
| 원문수록처(Citation) |
VOL 44 NO. 02 PP. 0064 ~ 0066 (2017. 12) |
한글내용
(Korean Abstract) |
맵리듀스는 현재 가장 많이 사용되는 빅데이터 분산처리 플랫폼 중 하나이다. 맵리듀스는 데이터 중심의 테스크들을 처리할 때 뛰어난 성능을 보여주지만 반복 알고리즘을 처리할 때에는 심각한 성능 저하가 발생한다. 그 성능 저하의 요인들 중에는 Disk I/O, Network I/O 오버헤드가 있는데, 이 오버헤드들을 완화하기 위해 고정 데이터 캐시방법이 많이 쓰인다. 고정 데이터는 메모리 혹은 로컬 디스크에 캐시 될 수있다. 고정 데이터를 메모리에 캐시 하는 것과 로컬 디스크에 캐시 하는 것은 일장일단이 있기 때문에, 이두 캐시방법의 성능을 정량적으로 비교분석 하는 것이 필요하다. 본 논문에서는 고속 분산처리 플랫폼 Spark를 사용해서 고정 데이터 캐시방법들을 정량적으로 비교분석한다. 실험에는 Microsoft Azure 인스턴스 19대, 다양한 크기와 특성을 갖는 Real-world 데이터 셋들, 그리고 반복 알고리즘인 PageRank, Recursive Query, k-means, Logistic Regression이 사용되었다. 실험결과 고정 데이터의 크기와 변동 데이터의 크기가 모두 커서 총 셔플 양이 약 140GB 이상일 경우에는 세 고정 데이터 캐시방법들의 총 수행시간이 유의미한 차이를 보이지 않았다. 그러나 고정 데이터의 크기는 크지만 변동 데이터의 크기는 수 KB 정도로 작을 때에는 고정 데이터를 메모리나 로컬 디스크에 캐시 하는 것이 고정 데이터를 캐시하지 않았을 때보다 성능이 약 2.5배~4.2배 더 좋았다. 고정 데이터를 메모리에 캐시 하는 것과 로컬 디스크에 캐시 하는 것 사이의 성능은 유의미한 차이를 보이지 않았다. 본 논문의 실험 내용은 반복 알고리즘을 분산처리 할 때 클러스터의 가용 자원을 고려한 고정 데이터의 캐시방법의 선택에 가이드가 될 것으로 사료된다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
